Animal Kingdom: A Large and Diverse Dataset for Animal Behavior Understanding | arxiv (2022)

Xun Long Ng, Kian Eng Ong, Qichen Zheng, Yun Ni, Si Yong Yeo, Jun Liu

hl.icon

Youtubeから大量の自然界で行動する動物の動画を拾ってきて、手動でラベル付けをした

この取り扱いにくいデータセットを解析する方法を提案

問題点

取得された動画は

様々な動物

様々な環境

様々なアングル

であるため、統一的に扱うのが難しい

例えば、"泳ぐ"行動の検出器を作ることを考える

"泳ぐ"という行動を様々な動物で検出するには、動物間で共通する特徴を抽出すればよさそう

しかし、例えば魚・カエル・犬の泳ぎ方は大きく異なっているため共通する特徴だけでは不十分

動物種特有の泳ぎ方に関する情報も利用する必要がある

Collaborative Action Recognition model (CARe)

とある行動について、

動物間に共通する特徴

特定の動物種のみに見られる特徴

の両方の情報を利用することで、学習に用いていない動物種の行動を分類する

手法について

動画データ・動物種のラベルを入力し、行動のラベルを予測

行動ラベル(正解)に基づいてパラメータ調節

K種類の動物のデータでモデルのトレーニングをする

動物種をまたいだ共通の特徴：全動物種のデータを用いて学習(１種類)

動物種特有の特徴：動物種ごとに別々に特徴を学習させる(K種類)

新しいデータに対しては、

共通の特徴

動物種別の特徴を重みづけしたもの

この重みづけは入力データと各動物の特徴の類似度を用いて行う

これらの２つを用いて行動を分類する

使われているデータセット